和俞同舟聊“空间叙事”:艺术家可以用低科技实现高科技表达

游戏是一种站在艺术与技术交叉口的媒介。

随着技术发展，AIGC工具和无代码/低代码引擎优化了开发流程，一步步降低门槛，让更多人用游戏的技术和方法进行创作。

从游戏开发者的角度出发，艺术表达和技术发展紧紧相拥，相互成就，带给玩家全新的体验。

但俞同舟从艺术家的视角来看，艺术和技术相互促进的同时，仍存在“错位”：前沿技术未必是艺术表达的最适配的工具，AIGC和UGC等技术工具也未必能帮助艺术人才施展创造力。

除了艺术家，俞同舟的另一个身份是中国美术学院教师，开设了《空间叙事》这门课程。在课程中，俞同舟同样在探索艺术与技术的关系。

机遇性的技术和产品突破让人类选择了移动端手机作为最便利的空间媒介，MR等技术也拓展了虚拟空间，赋予叙事更多可能性。而艺术家可以用敏锐的感受力捕捉技术对于人和社会的影响，并在技术的帮助下通过作品传达给观众。

前沿技术可以给创作带来“便利”，也会带来“依赖”。

俞同舟认为，开源社区和开源精神能够让艺术家接近技术的同时，避免技术产品带来的路径依赖。

在未来，物联网可能将生活中大大小小的屏幕连通，成为一整个空间媒介，进而产生全新的作品形式和体验。技术公司描绘了元宇宙、数字人、MR等等未来蓝图，公众对于体验的需求可能并非像这些预期一样，是更感性的，体验的。

如何补全二者之间的空隙，是艺术家、交互设计者、游戏开发者一直探索的方向。

以下为游戏艺术家

和俞同舟的对话

空间

赋予叙事更多可能性

Game Art  

你怎么理解空间对叙事的意义?

俞同舟

要回答这个问题可能要聊到我的学术背景。

当时我在英国皇家艺术学院，学习一个叫做数字导演Digital Direction专业。这个专业是为了解决目前的大型媒体，怎么处理叙事的问题。

当时我的导师Eleanor扔给我们一个词叫“未来叙事（Future Storytelling）”，我基于此写了毕业论文，并用一个作品实现论文中的模型。当时我的研究出发点是，今天我们有各种媒介，电视机屏幕、手机、平板等等，这些屏幕是割裂的。我的创作方式是把屏幕刷新率fps的“s”从“秒（second）”改成“脚步（step）”,根据脚步刷新视觉内容，像反向的跑马灯。

回国之后，我刚好看到了上海地铁车窗外的动态广告，随着车厢移动闪烁，让我觉得可以继续这个研究方向。但是怎么做？所以我开设了“空间叙事”这门课程，课程内容包含了很多专业，包括戏剧学、电影、建筑等等。

在我的理解里，空间是一个缩写词，它代表的是空间媒介。空间叙事也就是如何运用这些空间媒介进行叙事。

如果07年乔布斯没有推出苹果手机，可能今天普遍的交互不是在手机上，而是以建筑媒介为主的。你可以想象，假如走在上海街头，所有的建筑物表面都有屏幕，人直接和这些屏幕产生联系。

上海街头的屏幕

而现在人类的科技树往手机这个方向点了之后，空间媒介变成了移动端，所以这门课程和我自己的创作想解决的问题，就是如何基于移动端控制所有的屏幕，包括街上的广告牌、家里的电视机等等，这就构成了物联网。

所有现在我所有项目都是基于增强现实＋物联网展开的，如何去实现打通所有“屏幕”。

Game Art  

在国内的语境下，增强现实+物联网具体指什么？

俞同舟

国内很久以前有过类似的应用，我不知道为什么这个方向突然中断了。比如说摇一摇这个功能很空间媒介。还有依托于蓝牙信标，用户在商场里购物的时候，靠近一个商铺会被推送广告等相关信息。

Game Art  

类似摇一摇这种功能，普通的用户很少会把它和空间感联想到一起，觉得更多是一种和手机互动的体验。你觉得这种功能的空间感体现在哪里？

俞同舟

中文的词汇对于命名有一些模棱两可。打个比方，中国美术学院有一个特别有名的学院，叫跨媒体学院，跨媒体这个词放在中文语境里面可能会让人联想到像媒体概念里的融媒体，让人对这两个词有一点混淆。

其实在西文语境里面很简单，就是跨媒体它应该直接翻译为Transmedia，然后是由美国学者亨利·詹金斯在《融合媒介》里提出的词。这个词的意思是不同媒介里发生的故事可以连成一整个世界观，比如漫威，比如李秀满SM公司，都是跨媒介式的。

但国美的“跨媒介”英译为“Intermedia”，更偏向早期现当代艺术家，特别是装置艺术家的工作。比如白南准的作品“电视佛”，让佛像通过摄像机观望电视里的自己，把技术推到了本来生产厂商没有想过的使用方式里。

电视佛

“空间”这个词也是一样的，苹果空间计算里的“Spatial”跟我们中文语境下理解的空间肯定不是一回事。对于建筑师来说，空间又是另一回事了。“空间”这个词本身是值得挖掘的。

比如摇一摇，对大众来说它好像就是人跟手机的交互。但实际上它和所有大众习惯的媒介都不一样。今天大众习惯的媒介都是平面的，在某个固定的位置进行交互，而摇一摇是用户必须通过移动才能获得的体验。就像剧本杀和密室逃脱、沉浸戏剧的区别。

当用户在一个空间里移动的时候，可能性和体验的丰富度更大，这些是应该被讨论和设计的。所以摇一摇能做的事情肯定不只是在手机上震动两下加个好友，如果继续发展下去肯定还有更多的可能性。

只不过人类科技的发展肯定不是那么理性和规律化的，更多的是偶然性。

Game Art  

你在作品中对于AR、物联网、跨媒介这些技术或者概念，具体是怎么运用的？

俞同舟

以《妖怪号谋杀案》为例，它采用了APP与AR跨媒体的叙事方式。

这个作品的灵感来源是我读到的一篇94年的论文，论文里面提到了一个模型叫做“现实虚拟连续统一体”。它的逻辑很简单，就是有一个维度，从现实开始到增强现实，再到虚拟现实，再到增强虚拟，最后到虚拟这样的一条链路，可以通过AR技术把它框在一起，用某种方式在不同的维度里面穿梭，达到一种很顺畅很连贯的体验。

实现的方式可能是一个技术，比如论文里提到AR。讲故事也可以实现这种体验，这就是跨媒介叙事。

《妖怪号谋杀案》的逻辑是把沉浸式戏剧里面的角色全部抽走，有点类似于参与式戏剧。观众手中的手机变成了一个火把，带着火把才能在我所构建的世界，在不同的媒介所讲述的故事里面走动，因为只有火把照到的时候，观众才能够参与到这个故事里面去。

妖怪号谋杀案

这个作品一步一步地让观众的交互感越来越重，从一开始观众只需要观看短片，接着进入一个装置里面，然后一转头会进入一个沉浸式空间，是我扫描了伦敦地铁展台。观众拿到的iPad上会有文字强调你是一个警察，在调查这个案件，然后进入一段沉浸式体验，有AR，然后转VR，最后彻底进入虚拟空间。

整个故事的体验越来越“重”，故事也越来越丰富。

Game Art  

在空间叙事的概念中做设计或者参与其中的信息筛选、拆解、重构，有什么原则和方向呢？

俞同舟

从体验层面来说，我们今天用增强现实技术表现内容，肯定和观众坐下来观看影片的形式是不一样的。我们可以借鉴沉浸式戏剧的体验设计，包括如何推动观众在场景中移动，都是需要被设计的。

另外一方面，需要考虑什么样的美术资产适合被放在这样的内容里。我做过一些学术项目，用空间扫描、空间记录、数字孪生之类的方式进行文物记录，比如用手机扫描采集一些文物，成为美术资产。

也可以使用类似三维重建的方式，用照片和视频把文物重建出来，和刚刚空间扫描的方式结合起来，让观众再经历一遍文物原址地点发生过的时期，而且是以在场的视角，能看到在新闻记录里没有出现过的角度。

艺术家

用低技术表达“未来感”

Game Art  

空间叙事的信息筛选和重构，可以理解成艺术家结合自己的艺术想法与新兴的媒介技术，实现新的创作吗？

俞同舟

我本科学校是工科，所以在国美读研究生的时候有个很明确的使命，就是把工科能力和艺术结合在一起。但那个时候我失败了，很大原因在于那个时候的艺术与科技还没能像现在一样很好地结合。

当时发生了一件让我很难受的事情，我的毕设是个VR作品，在艺术展览上很少有人愿意体验，直到今天让观众们主动戴上VR眼镜还是一件很困难的事。

在那之后我失落了一段时间，后来遇到了艺术家吴珏辉，他在北京的今日美术馆展出了一件作品，叫做“比特宫”。当时所有的媒体对这个展览的评价都很好，把他称为现实与虚拟之间的穿梭者。

他这个作品是由脚手架搭成的，投影机从上往下投射一些线条，有一个很大光球上下慢慢移动，所以人在手脚架走动的时候会看到无数的线条在身上不断地游走。

比特宫

然后我就问他，你这个作品明明没有用到任何虚拟现实技术，怎么体现虚拟和现实之间的关系？然后他的回答至今都给我很大启发，他说当时所谓的虚拟现实技术，没办法表达他内心对于虚拟现实的想象。

艺术家对于世界的感知能力是很大的。比如我在黄山做了一个AR的项目，想到一句话叫作“看山是山，看山不是山，看山还是山”。

“看山是山”指的是没有经过任何的审美训练的基本状态；“看山不是山”是有一些知识积累之后，可能会觉得这块石头像猴子；“看山还是山”指的是李白“三千尺银河”的状态，东西还在那里，但在艺术家的角度已经变成另外一件事了。

今天有很多优秀的艺术家在做的是这件事，把无法通过现有的技术表达的内心感受通过其他方式提炼表达，换句说就是用低科技表现高科技。

Game Art  

其实追求的不是用技术创造沉浸、仿真等等，而是一个复合的经历。

俞同舟

对。在今天艺术与科技的领域，艺术家能做的不是开发新的东西，而是找到一个微妙的点进行创作。这很因人而异，也很难用真的用一个框架教出来。

技术“复魅”

公众在意的不是技术

而是体验

Game Art  

元宇宙的空间和游戏的空间有什么区别吗？

俞同舟

元宇宙更多的被认为是现实的替代品，而游戏不是，这是第一个出发点。

从人才以及开发者的能力的角度来说，元宇宙和游戏是画等号的，具备游戏开发或者设计能力的人也能够做元宇宙。二者最大的不同在于，元宇宙的创作目的是接近现实，还原现实。而对于游戏来说可以还原，也可以不这么做。

我在做元宇宙的时候会问自己一个问题：美院在里面扮演什么角色？

我们之前和科幻届一起举办了“东方幻想·元宇宙科幻大会”，当时我就在思考国美在其中的身份，我发现我们要从更感性的层面、更体验的层面，将现实的东西搬进元宇宙。除非有脑机接口，感性和体验是技术公司无法发明的。

第一届元宇宙大会科幻文献展

我们当时找到突破口就是“偶遇”，围绕着如何重建虚拟偶遇的可能性，搭建了元宇宙的空间。我们当时以“地心说”为灵感，把元宇宙的物理系统改成地心说，提高人和人的偶遇机遇。

这样的创作很难被总结成一套方法论，这个项目的价值点在于，艺术家用技术的表现方式纪念这个世界上的某个理论成果。

Game Art  

元宇宙大会为什么会选择东方幻想这个主题？

俞同舟

我们当时在研究元宇宙大会主题的时候，最先想到的是丝绸朋克。但在艺术界，丝绸朋克是典型西方观看中国的一种方式，所以我们就想回归一下更中国的主题 。

比如说有个课桌坏了，螺丝钉掉了一颗，海外的处理方式一般是把它报废或者维修，但中国人可能会直接用胶带一粘，垫个纸箱继续用。今天在中国老百姓的家里还常常会看到这些处理方式，它不是一个完美的“成功”，但它是一个很好的生活的状态。

东方幻想一直以来讨论的是回归生活，如何看待今天的技术对于生活真正的意义，它不是什么炫酷的科技，而是生活的一部分，够用就可以了。

之前一直在讲要科技祛魅，但我们试图再把技术用中国式的审美把它“神化”，不再过度强调技术本身，用中国式的“够用哲学”把它恢复到一个比较原始的状态。

Game Art  

对于艺术家来说，面向公众的艺术表达要考虑到他们的体验和接受度。你对此怎么看？

俞同舟

技术和内容如果面向大众，而不是专业的美术爱好者或者艺术爱好者，大众的第一反应是想要一种很酷炫的感觉，或者凑热闹，用AR眼镜等等新技术体验新的艺术形式，对他们来说没有什么意义。

公众不在意技术力、创造力，他们只在意这个事情好不好玩，这是大众最核心的需求。比如你在AR里摆了一个静态的花瓶，肯定多少是有技术含量的。但公众可能不想看，因为摆个物理的花瓶也差不太多。

我和其他开发者交流的时候发现，他们也更加注重体验设计或服务设计。以AR举例，他们在意的不是流畅度，而在于如果有一个小方块在飘，它该往哪里飘，能带来什么体验。所以他们认为在VR音游里，一个方块冲向你的这种体验是最达到心流的，你就自然而然要做出动作反馈。

17年左右上一波VR热潮的时候出现了很多超写实作品，大众没有那么喜欢，最近几年威尼斯电影节VR板块已经没有人在做了。更多是用三渲二的方式，对于设备的压力没那么大，对于观众来说也是足够好的体验，我觉得这是一个比较好的平衡状态。

2021威尼斯影展VR单元作品《Glimpse》

今天有一些创作者还是会抱怨，为什么技术不能再好一点，为什么渲染得不能再好一点。但很多人忘了艺术家的本职工作就是让受众感觉到清晰的表达，感觉渲染得好。如果工作都由技术完成了，艺术家的智力劳动体现在哪里？

Game Art  

新技术的出现，有没有推动空间叙事在应用领域的变革？

俞同舟

我的课程叫“空间叙事”，其实商业或者公共空间，比如博物馆、展厅、pop-up商业活动，也都在玩空间叙事。它代表的是更加沉浸式的体验，跟整个空间里面不同的东西进行互动，打造观众对于这一个品牌或者整一个展览的记忆点。

这是一个比较商业的空间叙事，非常依赖于实践和用户反馈。

比如说各大博物馆里面都有做基于眼镜的互动体验，孩子带上带上眼镜体验的时候是很开心的，他看到恐龙在他面前复活。而恐龙复活这个场景里，恐龙是恐怖还是搞笑的形象，要展示吃草还是逃走的动作，这其实都是叙事的事情。

整个空间叙事商业项目的流程分成三段，第一要打动甲方，第二要说服自己，第三要打动线下的用户。相应的，第一个阶段靠叙事，第二个阶段从技术角度实现，第三个层面其实又回到叙事本身。

艺术家应该分享技术

而不是绕过技术

Game Art  

我们之前研究过虚拟空间UGC，一方面拉动更多人使用UGC工具进行创作，另一方面也将UGC本身当作玩法体验。而且现在也有很多无代码、低代码的趋势。

俞同舟

其实我认为UGC毕竟依托于技术公司，想象力受工具的限制。

其次UGC模糊了专业和非专业的界限，看似可以释放想象力，但在创造力上肯定处于技术公司的下游，对于专业创作人才来说肯定是限制多于创意的。

Game Art  

最近创作平台buildbox推出了一个叫StoryGames.AI的游戏开发平台，这个平台的理念是在游戏机制较为固定的现状下，转向将故事作为游戏创意的核心，最大程度地降低技术门槛，让更多开发者更好地发挥故事方面的创造力。

这与空间叙事有一定的思路共通性吗？叙事是不是一个好的突破口？

俞同舟

叙事的本质是写好一个东西，创作者不一定要科班出身，有些人可能天生就能把一个故事写好。但当创作变得刻板化，真正的创意也就不存在了。

比如有些游戏引擎工具可以写类似这些套路的故事，创作者只需要进行拼凑。但世上的故事无非就那么多种，很多书和理论已经总结出来了，比如《千面英雄》。如果作家的笔都被机械臂固定着，作家也就变成了流水线上的工人，哪里还有真正的想象力和创造力。

Game Art  

怎么看现在技术和艺术的关系，或者说技术和创作的关系？

俞同舟

现在有一些在西方市场做当代艺术的人，对于区块链、元宇宙很感兴趣，然后和工程师合作一些项目，工程师负责写coding。我和这些艺术家聊天的时候，他们会谈到说很羡慕这些会coding的人，觉得这个技术有点遥不可及。

包括我也会分享很多开源的项目，有很多人收藏。现在很多艺术家在寻找刚刚提到的“机械臂”，他们没有意识到这些事情是可以自己做的。

现在很多成熟的艺术家和学生式的创作者，都有点崇拜技术，觉得肯定学不会。包括很多技术公司也这么想，然后为创作者开发标准化的工具。甚至有一点画地为牢的状态。

作为一个教育者和艺术家，我认为“开源”可以解决上面的问题。比如海外一些开源社群很活跃，很多艺术家用现成的项目做作品。程序员也没把自己当作“技术大神”，而是合作者。这也孕育出很多我们理解中的“独立开发者”。

所以如果有一些平台或者技术公司愿意去推进真正的开源文化，我相信艺术与科技加在一起会出现新的土壤。

我在学校里做了一个开源社区，高校是很适合做的，我们把很多技术工作教程化，做成工作坊或者沙龙。参与技术分享的学生也可以收获一些“大神”的赞誉，成为大学期间的“高光时刻”。

未来

世界变成一块大媒介

Game Art  

空间叙事有哪些值得探讨的产品化方向？

俞同舟

现有的娱乐体验在把人变成“沙发土豆”的状态，坐在一个固定的地方通过手机电视等媒介获取娱乐体验，所有公司专注于KPI，希望用户打开APP使用的时长越长越好。

但我的一直以来的理念是每个人都应该在城市里面行走，需要跟城市发生更多的关系，就像今天的“city walk”。就像居伊·德博的《景观社会》，在实践有没有可能靠市民去推动城市的发展。

《景观社会》

Game Art  

刚刚还聊到大屏小屏各种媒介，跨媒体怎么和你说的行走结合起来？

俞同舟

假如技术真的往建筑屏幕的方向走，你的问题可能就不存在了。

当下的现实是，城市没有往媒体建筑这个方向发展，而是每个人都有一块随身携带的移动屏幕。移动端研发未来的趋势应该是跟其他的屏幕联通，也就是物联网。去年国际的物联网组织推出了一个新的协议，好几家公司加盟了这个协议，也就是通信协议统一化。

未来可能所有的设备能一键控制，不存在权限的问题，再通过数字人连接起来。接下来迎来的可能是物联网的大爆发。

Game Art  

未来的媒介会是什么样子的？可以通过什么样的途径进行探索？

俞同舟

我以艺术家身份做数字人，作为开发者做增强现实，但我并没有把这两件事情放到一起。

本质上我觉得增强现实不是一个艺术作品，而是一个更有关人类自身的技术。它与基于屏幕交互的技术不同，不是一个他者，而是对人类自身的一种增强。我自己给这种方向的定义叫做“增强人类”。

再回到我的艺术家身份，我关于数字人的所有创作都是一种拟人技术。比如一台苹果手机有一个叫Siri的人格，华为的产品有一个叫小艺的人格，如果苹果手机和华为音箱建联，Siri、小艺这两个人格是不可能同时存在的。

当越来越多的系统加入物联网，各种各样的人工智能也进入了这个统一的网络，但最终肯定只会呈现出一个人工智能，作为最终界面，有可能呈现形式就是数字人。尽管媒体建筑被中断了，但我相信未来所有的东西都会串在一起，世界本身变成了一个大的媒介。屏幕的框消失了，它不只是像屏幕被观看，还代表了交互等等一系列的东西。

Game Art  

很多人认为数字人是元宇宙的入口，对数字人有很大期待。你怎么看数字人的发展和趋势？

俞同舟

我之前刚刚发了个朋友圈，在Unity上面运行了一个数字人，还接了ChatGPT，做出人格等等。视觉用偏2D的风格，比较容易控制。这个作品放在苏州博物馆里展览。

这个产品在技术上有比较完整的链路，很像数字人，能控制很多事，回答很多问题。

但在小红书和展览里，很少人关注到这个作品。我又试着把以前非实时渲染的写实风格作品发在小红书上，突然就有很多点赞。

明明苏博的作品更符合人们对于AI式数字人的预期，写实作品更像“花瓶”，但大众还是更喜欢后者。所以我认为数字人最后还是得创作一个更写实、更拟人的东西，才能打动人。

现在数字人大多介于一个2D/3D中间的模型形态，离大众需求太远了。和我们刚才聊UGC有点像，技术公司用尽全力描述了一个未来的蓝图，但这个未来可能不是大众需要的。

访谈/撰文

夏清逸 王子靳

《山门与幻境》：

口碑逆袭背后，是用做媒体的逻辑来做游戏 

《降妖散记》：

当最务实的游戏开发思路，遇上最接地气的传统文化题材挖掘 

《满庭芳：宋上繁华》吴智昊：

不止还原历史，还有模拟经营游戏少见的“烟火气”